In 1856 geven baron Charles van Caloen en zijn echtgenote, gravin Savina de Gourcy Serainchamps, opdracht aan de Engelse architect, Edward Welby Pugin, een nieuw kasteel te bouwen. Drie jaar later neemt Jean Bethune de taak over. Hij verleent aan de toen heersende neogotiek, de christelijke bouwstijl bij uitstek, een Vlaams karakter. Het kasteel van Loppem, met zijn schilderijen, vooral uit de 16de en 17de eeuw, beeldhouwwerken uit de 15de en 16de eeuw, aardewerk en porselein, is het enige kasteel in België waarvan de architectuur en het interieur volledig in hun oorspronkelijke staat zijn behouden.
Het kasteel speelde ook een belangrijke rol in de geschiedenis van de Belgische politiek. Koning Albert I verbleef er met zijn familie van 24 oktober tot 21 november 1918. Hier werd de 'Regering van Loppem' gevormd en werden twee beslissingen met historische betekenis genomen, het algemene kiesrecht en de vernederlandsing van het hoger onderwijs in Vlaanderen.
Het romantische park van het kasteel, met een oppervlakte van 20 hectaren, werd ontworpen kort voor de bouw van het kasteel. Vele bomen zijn ouder dan het kasteel, waarvan enkele wel vijfhonderd jaar oud. In het park bevindt zich een labyrint dat enig is in België, het werd in 1873 getekend en aangeplant door twee jongens, Albert van Caloen, 17 jaar, en zijn broer Ernest, 14 jaar, onder leiding van hun huisleraar E.H. Vandermeersch. Het labyrint is 65 m. lang, 25 m. breed en de hagen, met verschillend gewas, bereiken een totale lengte van bijna twee kilometer. Het park en het labyrint, eigendom van de Vereniging van Caloen, werden door de gemeente in huur genomen.